tg-me.com/machinelearning_interview/1699
Last Update:
🦙 Встречайте, дамы и господа, LLaMA 4: мультимодальные MoE модели!
Llama 4 Omni разработана для понимания и обработки информации модальностей, а не только текста.
Доступна в 3х вариантах: Llama 4 Scout и Llama 4 Maverick и анонсированный Llama 4 Behemoth.
У Llama 4 Scout (109B) контекстное окно размером 10 М, 17B активных параметров, 16 экспертов, может быть запущена на 1ом GPU!
Llama 4 Maverick (400B) окно в 1M, 128 экспертов, 17B активных параметров.
У зверюги бегемота обещают окно в 2T!!! 16 экспертов, 288B активных параметров.
Сейчас выпущены только Scout и Maverick.
- Model Card
- Веса
- Релиз
@ai_machinelearning_big_data
BY Machine learning Interview

Share with your friend now:
tg-me.com/machinelearning_interview/1699